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++ 


Ней! осас++ 
НІ. ма 2021 


Предположим 


Вы проектируете некоторую 
высоконагруженную (высоконадежную и 
безопасную) систему. 


Какие качества интересуют заказчика ? 


ТА Нен сас 
2 А+ 


Модные -ПКу 


• Производительность 
- Время отклика Наша тема 


— Пропускная способность 


Надежность 
Отказоустойчивость 
Безопасность 


е. Скорость выхода на рынок ({2т) 


ТА Нен сасі 
3 (нине оа» 


Ограничения 


• Люди 

е. Деньги Всего мало 

• Время 

е. Непременно Агіїе (куда без него) 


ТА Нен оасінн 
НІ. не До» 


Решение в лоб («Русский водопад») 


• Анализ 
- Требования к производительности 


— Аппаратные и программные 
ограничения 


— Нагрузка 
• Проектирование 


— Зачастую выбор референсной 
архитектуры 


• Реализация 
• Тестирование 
— Нагрузочноеит. п. 


• Вывод в эксплуатацию 
- Мониторинг производительности 


ТА Нен сас 
5 сто) ока 


Решение в лоб («Русский водопад») 


• Анализ 
- Требования к производительности - на уровне интуиции 
— Аппаратные и программные 
ограничения 
— Нагрузка — либо сильно недооценена, либо с запасом 


• Проектирование 


„ 7 по предыдущему успешному проекту, либо 
— Зачастую выбор референсной 


«а давайте попробуем что-нибудь новенькое» 


архитектуры 
• Реализация - без оглядки на производительность либо оптимизируем все что видим 
• Тестирование 
— Нагрузочноеит. п. - обычно слишком поздно (не готовы стенды, кейсы, интеграция) 


• Вывод в эксплуатацию 


— и тут приходит нани 
- Мониторинг производительности ут приходит осознание, что надо бы все 


переделать 


ІЙ. Нен сас 
ь (ну непо" 


Честный Аг!е 
(зволюционное проектирование) 


Анализ 

Проектирование 

Реализация Спринт 
Тестирование зані, 
производительности 


(в рамках СІ) 
-- Нагрузочное ит. п. 


ТА Ніёћ_оасн+ 
НІ. не До» 


«Честный» Аєїїе 
(зволюционное проектирование) 


• Анализ 
‚ Проектирование 
• Реализация 


• Выравниваемся с 
другими командами 
• Ждем разворачивания стендов 
• Тестирование 
производительности 
(в рамках СІ) 
— Нагрузочное ит. п. 


Релиз 
(1-2 месяца) 


ІЙ Нен сасі 
8 (нон 


Любимый подход менеджера 
(“Их-й-аег”) 


В основной части цикла 
разработки игнорируйте 
вопросы эффективности 


Займитесь производительностью, 
когда ваша программа заработает 
корректно и проект будет 
отражать ваше полное 
понимание того, как должен быть  ОУЗР (Ачей и Бек (Веск), 
структурирован код программы й 


ІЙ Нен сас 
з сні нео 


Результат (по 400+ П-компаниям) 


ОМОЕВ 24 НООВ5 ІЕ55 ТНАМА МЕЕК | МОВЕТНАМА МЕЕК 
ТО 501МЕ ТО 501МЕ ТО 501МЕ 


4775 Зо Јо Ло о 


ОРТІМІЛЕ ОРТІМІЈЕ ОРТІМІЈЕ 
ЕАВКІҮ ЕАКІҮ ЕАКІҮ 


10 дгопе'8 2015 риіде їо репогтапсе апа топіїогіпе НГ) нано 


Решение 


Проактивный подход 
е Устраняем проблему до ее возникновения 


ТА Нен сасі 
п (В) некое 


Полная цитата 


В основной части цикла разработки 
игнорируйте вопросы эффективности 


Займитесь производительностью, когда 
ваша программа заработает корректно и 
проект будет отражать ваше полное 
понимание того, как должен быть 
структурирован код программы 


Вносите в проект лишь такие изменения, Кен Оуэр (Кеп Аие!) и 
которые могут указать дорогу к Кент Бек (Кеп! Веск), 1996 
возможностям его улучшения 


М Нан ога 
р ср 


И еще одно мнение 


Чтобы говорить о производительности, я предпочитаю 
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увидеть работающую систему, измерить ее 
характеристики и, учитывая полученные результаты, 
применить строго определенные процедуры 
оптимизации 


Магіїп Ро\мег 


ІМ Нан ога 
(ние 


И еще одно мнение 


Чтобь говорить о производительности, я предпочитаю 
увидеть работающую систему, измерить ее 
характеристики и, учитывая полученные результаты, 
применить строго определенные процедуры 
оптимизации 


• Однако, некоторые архитектурные решения 
определяют параметры производительности таким 
образом, что устранение возможных проблем 
средствами оптимизации затрудняется 


• Именно поэтому к принятию таких решений 


всегда стоит подходить с большой 
ответственностью 


Магіїп Ро\мег 


14 (ні) НЕНГ сад 


Как? 


- У мэтров нет ответа на вопрос «какие именно 


решения нужно принимать предварительно» 


Как не скатиться к преждевременной оптимизации, 
которая, как известно, 
«корень всех зол в программировании» 


Оопа!9 Кпиїћ 
Попробуем позаимствовать инструменты 
программной инженерии 


— Математическое моделирование 


ТА Нен сас 
(ні) р 4 


Мнение 
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Построение моделей 
производительности 
-- дорогостоящий 
процесс ввиду их 
сложности 


"А Нан ога 
(ннен 


Проверено на практике 


е. Очень простые модели могут предоставить 


информацию, необходимую для 
идентификации проблем 
производительности и оценки альтернатив, 
позволяющих их решить 


• Зачастую построение модели занимает 


несколько минут 


ТА Нен сасі 
(ні) не До» пе 


Демонстрация 


би теч зо ’ | Возьмём для примера 
| | | очень 

РР ПЧ распространенную 

ҸЕ задачу - построение 

| конвейера 


18 (ні) НЕНГ сад 


Формирование печатных 
представлений 


сообщения 


ООО ре 
(в перспективе, ЮООООО мръ) 


Требование заказчика: 


Сообщение должно быть 
обработано за 1 сек 


(у 
Й вхо Ддгъкди 


++ ні 
19 (ні) РИМІ сек 


Пробуем пойти проторенным путем 
(методология 5РЕ) 


боумаге Репогтапсе Епвіпеегіпе 


• Контроль производительности на 
всех зтапах разработки 


• Возможность определения узких 
мест системы до построения 
системы 


‚ Возможность оценить 
альтернативные варианты 
решения без необходимости 
реализовать каждое 


20 (ні) Нівпіоаани 


Шаги 5РЕ (упрощенно 


- Выявляем проблемный ст. з. требований и 
нагрузки сценарий 


• Модель работы программы 


- Декомпозируем сценарий, разбивая его на 
этапы 
— Оцениваем время выполнения каждого этапа 
е. | Оптимистично 
Ж Пессимистично 
- Если на этом этапе модель показывает 
неудовлетворительный результат, меняем 
архитектуру 
• Модель работы системы 


— Добавляем нагрузку и рассчитываем основные 
характеристики модели 
(время отклика, утилизация ит. п.) 


- Находим бутылочное горлышко 


- Устраняем проблему, применяя различные 
паттерны (или тактики) 
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деіАссоипі 


де Атоцп! 


гедчез! 
Аціпогігайїїоп 


М 


аіѕрепѕеСаѕћ 


сопіпт 
Тгапѕасіоп 


Зсгееп 1 
Нові 0 
Год 0 
Оеау 0 
Зсгееп 1 
Нов! 0 
Год 0 
Оеіау 0 
Зсгееп 0 
Нові 1 
Год 1 
Оеіау 0 
Зсгееп 1 
Ноѕї 0 
Год 1 
Оеау 5 
Зсгееп 0 
Нов! 0 
Год 0 
Оеіау 10 
Ѕегееп 0 
Ноѕї 1 
Год 1 
Оеіау 0 


НО) Нан оайн 


Весна2021 


Шаги 5РЕ (упрощенно) 


- Выявляем проблемный ст. з. требований и 
нагрузки сценарий 


• Модель работы программы 


Декомпозируем сценарий, разбивая его на 
этапы 
Оцениваем время выполнения каждого этапа 
е | Оптимистично 
Ы Пессимистично 
Если на этом этапе модель показывает 
неудовлетворительный результат, меняем 
архитектуру 


• Модель работы системы 
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Добавляем нагрузку и рассчитываем основные 
характеристики модели 

(время отклика, утилизация ит. п.) 

Находим бутылочное горлышко 


Устраняем проблему, применяя различные 
паттерны (или тактики) 


как” 


деїАссойпі 


Зсгееп 


Ноѕї 


Год 


Оеау 


ооо ~ 


Зсгееп 


Нозі 


Год 


Оеау 


гедцезі 
Аціпогігаїїоп 


Зсгееп 


Нові 


Год 


М 


Оеау 


аіѕрепѕеСаѕћ 


М 


Зсгееп 


Нові 


Год 


Оеау 


умайРог 
Сизютег 


Зсгееп 


Нові 


Год 


М 


Оеау 


соп пт 
Тгапзасіїоп 


Зсгееп 


Ноз! 


Год 


Оеау 


о-о ооо озо5 оо ооо 


ІЙ Нен сас 
НІ. Ан ЕА 


Отход от плана 


• Оцениваем время выполнения каждого этапа 


$ 


е. Бюджетируем выполнение каждого этапа 
— Бюджет для своих компонентов 


— Предположения для внешних компонентов и 
устройств 


М Нан ога 
2з СГ 


Что дальше? 


• Передаем бюджеты разработчикам как 
требования по производительности 


— Отслеживать выполнение этих требований можем 
на уровне интеграционных тестов 
раз в 15 минут) 


— Используем микробенчмарки 


е. Предположения включаются в контракты с 
внешними командами и в ТЗ 


ТА Нен сас 
24 А+ 


Бюджеть и предположения 


сообщения =) 
ооо „рх 


(в перспективе ОООООО мр) 


БОО 5 
з тв 


Генерация 
печатного 
предст аблени Я 


сорт ировкКа. 
м г рппировка. 


ЮО ме 


3 м5 На передачи по сети 


ЗОО „5 
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Требование заказчика: 


Сообщение должно бьть 
обработано за 1 сек 


Предположения 
выделены красным 


М Нан ога 


Бюджеть и предположения 


сообщения =) 
Оооо „рх 


(в перспективе, ЮООООО мрз) 
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ЗА, Канонидация 


3. миз На передачи по сети 


ЮО ма 


| 


БОО 5 
з тв 


сорт ировкКа. 
иг рппировка. 


ЮО ме 


Генерация 
печатного 
предст аблени Я 


ОО „5 


Требование заказчика: 


Сообщение должно быть 
обработано за 1 сек 


Предположения 
выделены красным 


Можем ли передать эти 


цифры разработчикам? 


М Нан ога 


Учет нагрузки 
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Предьдущая модель бюджетирует общее 
время пребывания на узле 

Зто время не может бьтть использовано в 
контрактах, так как большую часть времени 
сообщения будут терять не на обработке, а 
простаивая в очередях 

— Длина очереди зависит от нагрузки 

— Требуется учет нагрузки 


ТА Нен сас 
(ні) Не Е 


Учет простоя в очередях 


Средняя длина очереди 


(Оцеце Іепеїп) №М= — 
цеце [еп == 
1-0 Где, 
Среднее время ожидания ЕЕ ЛИ Ц - утилизация ресурса 
(Мак кіте) ИТ = ть Х - нагрузка (операции в 
секунду) 
Среднее время пребывания на узле АТ=И/Т+5 
5 — время обслуживания 
(Везідепсе Пте) ў 
5 на узле (тот самый бюджет) 
КТ = —— 
1-0 
$ Закон утилизации 
КТ = ух И=5.хХ 


ТА Нен сас 
28 сто) скан 


Обратная формула 


• Время обработки через время пребывания 


5 ВТ 
КТ 1-5Х г 1 + ВТ-Х 


Ы Например, для компонента «генерация печатного 
представления» время пребывания ВТ = 500 т$ 
(бюджет) 

— Время обслуживания $ = 0.998 $, при Х = 1.000 трѕ 
- Время обслуживания 5 = 0.999 п5, при Х = 1.000.000 пор 


ТА Нен сас 
29 (ни) неу он 


Очевидное решение 


е. Масштабируем 


— Например, выделив под задачу 1000 ядер 
(1000 роа сервиса генерации печатного 
представления), снижаем нагрузку до 1 трѕ на 
ядро 

— Время обслуживания на ядре 5 = 333 т5 


ТА Нен сас 
30 НІ. ро га 


Очевидное решение 


е. Масштабируем 


— Например, выделив под задачу 1000 ядер 
(1000 роа сервиса генерации печатного 
представления), снижаем нагрузку до 1 трѕ на 
ядро 

— Время обслуживания на ядре 5 = 333 т5 


Можем ли передать эту 
и азработчикам ? Я 
. цифру разр РОТ 


Проблема усреднения 


На самом деле ситуация еще хуже 


• Приведенные выше формулы работают со средними 
величинами 

• Заказчику же хочется, чтобы большинство сообщений (или все) 
обрабатывались вовремя 

. Упс! Мы не учли это при фиксации требований 


— Переписываем требования: 
99.5 % сообщений должно быть обработано за 1 сек. 


Нужен перерасчет бюджета 


ТА Нан оас++ 
НІ. не До» 


Связь среднего и перцентили 


Многие системы могут быть аппроксимированы формулой 


1 
В, =ВШ = 


Ко = 0.7А (медиана) 
Ко = ЗК 
Код = 4,6Е 
Коов = 5,3В 
Кодо = 6.9К 
Б 99999 2 11.5К 


То есть, 


ІЙ Нен сас 
(ні) не До» Е 


Учет распределения 


ы КТоов = 500 тв = 5 ЗА >В = 9015 
— Время обслуживания 5 = 82 пп, 


при Х = 1.000 трѕ, «размазанных» по 
1.000 ядер 


82 т5 вместо ранее рассчитанных 300 пп5 
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ІЙ. Нен сас 
НІ. Бари 44 


Промежуточный итог 


Что мы сделали: 
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Мы уточнили у заказчика ожидаемое время выполнения одного 
сообщения с учетом перцентилей 


Распределили это время по компонентам (как время пребывания, то 
есть обслуживания плюс простой в очередях) 

Используя полученные знания, вывели из времени пребывания время 
обслуживания (5 = 82 11$) 


Можем ли передать эту 
цифру разработчикам ? 


ТА Нен сас 
(ні) Нет & 


Нюансь 


• Приведенные выше формулы 
работают для очередей вида 
М/М/1 
(где М - Магкомап или тетогу!езз) 

- Время прибытия и время 
обработки варьируется 
зкспоненциально 


• Это достаточно распространённый, 
но не общий сценарий 
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він 


РЕ = 


ІЙ Нен сасі 
(ні) не До» 4 


Нюансь 


• Приведенные выше формулы 
работают для очередей вида 
м/м/1 1 
(где М - Магкомап или тетогу!езз) 
- Время прибытия и время 
обработки варьируется 
зкспоненциально 
• Это достаточно распространённый, 
но не общий сценарий 


— Например, может быть очень солидный 
«хвостик» ни 


Ур о 


++ ні 
37 (ні) Нівһ озон» 


Более общий случай (М/С/1) 


Формула Поллачека-Хинчина Время отклика существенно зависит как от 
(РоПасгек-Кии сите ѓогтиа) утилизации, так и от вариативности 
1 Е |5 | Увеличение утилизации в два раза 


КТ 


т может привести к увеличению времени 


— 1 = (/ | Е [5 | ожидания от 4 до ео раз 


Низкая утилизация не всегда приводит к малому времени ожидания в 
| 
очередях! СИ 


Наш случай 


• Часть сообщений (95%) превращаются в печатную форму за 50 пп5 
• Часть сообщений (5 96) обрабатываются за 2 5ес ет 
1 Е[52] 95% 5= 0.05 ес 


. Н мя пребывания КТ = —— · 
Сред ее вре р 1-0 2Е[$] 5% 5 = 2 5ес 


Е|5| = 0.95 х 0.05 + 0.05 х2 = 0.15 зес 
Е[52] = 0.95 х 0.05? + 0.05 х 2? = 0.2 ѕес? 
И =1 х 0.15 = 0.15 (15%) 

ВТ = 0.6 ѕес 


ТА Нен сас 
39 сто) скан 


Пятиминутная автоматизация 


62 Е Л = (1/1-А2 * 011) * (Е11/(2 *011)) 
А В Е: р Е Е С 

1 |х р 5 Е[5] Е[5^2] ВТ 

2 1 0,95 0,05 0,0475 0,002375 0,58482945 

3 0,05 2 0,1 0,2 

4 0 0 

5 0 0 

6 0 0 

7 0 0 

8 0 0 

9 0 0 

10 0 0 

11 1 0,1475 0,202375 
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(НЕ) нюмгоаа” 


Работа с вариативностью 


• Вариативность времени обработки сказывается на 
среднем времени ожидания очень неприятным 
образом 

Можно учитывать длинные хвосты в своих моделях, но 
я зачастую иду другим путем 

е Разделяем сервисы, обрабатывающие долгие задачи и 
сервисы, работающие над короткими задачами, 

— существенно улучшаем производительность 
— упрощаем расчеты 


ТА Нен сас 
41 А+ 


В итоге 
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Промоделировали проектируемую систему (в Місгоѕоѓї Ехсеї) 
Определили вопросы для уточнения требований (перцентили) 
Использовали пару архитектурных тактик 

Получили на руки цифры для обсуждения 

- бюджет для разработчиков (сдюжат или нет) 

— предположения и контракты для внешних команд 

— сайзинг для бизнеса 


Уложились в 40 минут 


ІЙ Нен сас 
(ні) не До» Е 


В дальнейшем 


- Получая первые результаты реализации, 
модифицируем нашу модель 
(т. н. «Стратегия адаптируемой точности») 
- Выявляем узкие места в системе 
(где самая длинная очередь) 
— Применяем тактики, позволяющие передвинуть 
бутылочное горлышко на другой участок 


ТА Нен сас 
43 (ну неон" 


Список применяемых тактик 


е. Собран из разных источников 


е Упорядочен и приоритизирован 


— отсамых простых и дешевых до сложных и 
дорогих, приводящих к деградации других 
качеств системы 


• Тема для отдельного разговора 


ТА Нен сасі 
(ні) Не аа 


Честный Аєїїе 
(зволюционное проектирование) 


• Анализ 
. Построение модели 
производительности 
е 
Проектирование бойні 
• Реализация (1-2 недели) 
• Тестирование 
производительности Стабильно! 


(в рамках СІ) 
— Нагрузочное ит. п. 


ТА Нен сас 
45 (ну непо" 


Вопрось? 


• Доступен и после 
конференции по ссылке 


Ө Һрѕ://1. те/МахітҮипиѕоу 


